Năm 208, Tào Tháo muốn đi đánh Kinh châu nhưng không yên tâm về Mã, Hàn. Vì vậy trước khi xuống miền nam đánh Kinh châu, Tào Tháo đã nhân danh Hán Hiến Đế triệu Mã Đằng về Nghiệp Thành, ngoài mặt là phong chức nhưng kỳ thực để chia cắt với Hàn Toại. Tào Tháo sai Trương Ký đi dụ, bắt ông phải bỏ thuộc hạ mà thần phục. Mã Đằng đã hứa theo nhưng lại do dự. Trương Ký sợ Mã Đằng gây biến, bèn sai các huyện sắm đủ lương thực, đem hai nghìn thạch lương ra ngoài thành trao cho quân, làm như sắp điều quân đánh Lương châu[14]. Mã Đằng bất đắc dĩ phải đồng ý, chuyển cả gia thuộc hơn 200 nhân khẩu về kinh cư trú ở Nghiệp thành. Tào Tháo phong con ông là Mã Siêu làm Thiên tướng quân, Đô Đình hầu, cho thay cha quản lý quân đội dưới quyền.

Tam Quốc chí chép: "Năm Kiến An thứ mười, Đằng được vời về kinh làm Vệ uý, Đằng nghĩ mình tuổi đã cao, mới xin vào làm Túc vệ. Đến khi Đằng về kinh, nhân việc ấy mới xuống chiếu ban cho Siêu làm Thiên tướng quân, sai nắm quân sĩ trong doanh của Đằng. Lại phong cho em trai Siêu là Hưu làm Phụng xa Đô uý, em trai Hưu là Thiết làm Kỵ Đô uý, dời cả gia thuộc khỏi xứ ấy đến ở huyện Nghiệp, chỉ còn mình Siêu ở lại mà thôi[1]

Năm 211, Tào Tháo phái Tư Lệ hiệu uý Chung Do và Chinh tây Hộ quân Hạ Hầu Uyên đi đánh Trương Lỗ ở Đông Xuyên. Các tướng ở Tây Lương, trong đó có Mã Siêu và Hàn Toại, thấy Tào Tháo không đánh họ ở chỗ gần mà đánh Trương Lỗ ở xa, nghi ngờ rằng Tào Tháo sẽ đánh mình, bèn cùng nhau khởi binh chống Tào Tháo, chiếm cứ Đồng Quan. Tào Tháo khởi binh đi đánh Mã Siêu.

Năm 212, Tào Tháo dẹp xong Mã Siêu trở về Hứa Xương, nhân danh Hiến Đế hạ lệnh giết chết Mã Đằng, tru di tam tộc, giết hết những người cùng họ ở kinh thành.[15] Năm đó Mã Đằng 57 tuổi.

Như vậy, theo sử sách thì gia tộc của Mã Đằng hơn hai trăm nhân khẩu không ai trốn thoát, chỉ có Mã Siêu và Mã Đại rút về Lũng Thượng thì mới tránh được họa sát thân. Trong thời gian gần đây đã có nghiên cứu chứng minh được còn một số hậu duệ trực hệ của Mã Đằng, Mã Siêu là Mã Kháng chạy thoát được sang Ba Tư và định cư ở Armenia. Gia tộc Mamikonean của Mã Kháng có đóng góp nhất định trong lịch sử Armenia.[16]